SLIDE: Search-to-List Item Distillation for Single-Rollout Generative Retrieval
SLIDE：搜索到列表蒸馏实现单次贪心生成式检索
🧭 生成式检索 · 列表蒸馏 ★ 深度解读
Zhejiang University · Taobao & Tmall Group of Alibaba
将离线item级beam search结果按分数拼接为列表蒸馏目标，训练学生单次贪心生成Top-K，以低成本逼近或超越线上beam search检索
📌 工作参考价值（4 点）
- 线上部署用单次贪心解码替代 item-level beam search：蒸馏后 0.5B 学生可逼近或超越同尺寸直接训练模型的 beam search，服务质量不变但推理路径更简单、延迟更低；teacher 仅离线构造数据，可无限扩容量。
- 蒸馏目标顺序不能乱：保留 teacher beam-score 降序对头部 HR 和 NDCG 至关重要；随机打乱会明显降低头部检索质量。如果自建列表蒸馏数据，不要做去重/有效性过滤再拼接，直接按固定长度 SID 块拼接并保持顺序。
- 目标长度与评价深度对齐：当 HR@K 为核心指标时，蒸馏目标取 K 个 teacher 候选即可，过长会显著增加离线 beam search 成本而不提升对应截断指标。
- 列表级 RL 后续优化空间大：在 SLIDE 基础上做列表级 RL，相对 SFT 提升可达 3.46-7.67%，远高于 item 级 RL 的 0.59-1.17%；可继续叠加 relevance reward 和 LLM-as-judge 自洽性奖励进一步提升相关性。